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Автоматическое распознавание жестов 
в интеллектуальных системах 


В работе рассмотрена концепция использования жестов рук в интеллектуальных системах, в частности для 
управления робототехническими устройствами. Проанализированы основные процедуры распознавания 
движений рук, выделены основные моменты на каждом из этапов распознавания. Предложен подход, 
позволяющий уменьшить размерность пространства, в котором находится рука, а также избежать огра- 
ничений, связанных с использованием специальных маркировочных средств. 


Введение 


В последнее время разработчики интеллектуальных систем все больше внимания 
уделяют автоматическому распознаванию жестов с помощью визуальных систем [1]. 
Такой интерес вызван природным характером и удобством использования интерфейса 
на основе жестов, а также возможностью его применения в большинстве областей чело- 
веческой деятельности. Постановка задачи распознавания жестов комплексная и учиты- 
вает неоднозначную природу статических и динамических жестов, проблемы выделения 
руки на окружающем фоне, условия освещения и помехи. Решение задачи в большин- 
стве случаев предполагает выбор алгоритмов с использованием компьютерных ресурсов. 

В статье рассмотрена проблема управления робототехникой с помощью заданного 
набора жестов. Поскольку управление происходит в режиме реального времени, то не- 
обходим алгоритм, не требующий огромных вычислительных затрат. 

Ранние технологии распознавания жестов предполагали использование маркеров, 
прикрепленных к кончикам пальцев пользователя. С помощью соответствующего алго- 
ритма определялись наличие маркера и его цвет, выполнялась идентификация пальцев, 
задействованных для формирования жеста [2]. Однако использование маркеров наклады- 
вает некоторые ограничения на работу пользователя, и, как следствие, преимущество 
стали предоставлять бесконтактным технологиям. 

Современные методы используют более прогрессивную технику на основе компью- 
терного зрения. Распознавание жестов может осуществляться методом создания про- 
странства кривых, суть которого заключается в нахождении граничных контуров руки [3]. 
Данный подход достаточно надежен и инвариантен к перемещениям и вращениям руки, 
однако требует больших вычислительных затрат. Также был предложен алгоритм рас- 
познавания положения руки с помощью изображений скелета руки [4]. В данном случае 
применяется многокамерная система для нахождения центра гравитации руки и наибо- 
лее отдаленных от него точек, обеспечивая, таким образом, информацию о положении 
кончиков пальцев, которая используется для построения изображений скелета руки и, 
соответственно, распознавания. Остальные методы распознавания жестов используют 
специальные методы сравнения [5], дескрипторы Фурье, нейросети, гистограммы поло- 
жения [6], фильтрацию точек [7]. 

При распознавании используется фиксированный набор жестов, с помощью которо- 
го задаются определенные команды для управления робототехникой в режиме реального 
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времени. Поэтому быстродействие и простота алгоритма имеют большое значение. 
Такой подход включает сегментацию изображения руки на основе цветовых характе- 
ристик кожи и ограничений размерности [8], [9]. Ограничение размерности является не- 
обходимым условием, так как большая размерность вызывает огромные вычислительные 
затраты. Все движения руки описываются с помощью базисных векторов. Для уменьше- 
ния размерности пространства наблюдаемых векторов без существенной потери инфор- 
мации рекомендуется применять анализ главных компонент (АГК), а для отображения 
характерных особенностей — анализ независимых компонент (АНК) [9]. 

Для того чтобы система отвечала нужными реакциями на определенные совокуп- 
ности внешних воздействий, необходимо подключить процесс обучения, который заклю- 
чается в адаптации системы к конкретным движениям рук пользователя (заданному 
набору жестов). В качестве объектов обучения выступают визуальные изображения рук. 

Итак, на основе этих предварительных процедур обработки генерируется сигнал, 
который несет информацию о жесте на изображении. Далее жест сравнивается с набором 
жестов из базы данных и, в случае успешной классификации, ему присваивается опре- 
деленная команда. На выходе системы формируется управляющий сигнал, предающий 
команду, на основе которой автоматическое устройство выполняет то или иное действие. 


Распознавание жестов рук 


Предложенный алгоритм распознавания жестов состоит из следующих этапов: 

1) обучение системы, задание конкретного набора жестов и соответствующих 
команд; 

2) преобразование исходного изображения в начальное представление (матема- 
тические преобразования, вычисление главных компонент); 

3) локализация и сегментация областей руки на изображении на основе ключе- 
вых характеристик; 

4) механизм классификации (моделирования). 

1 Обучение системы 

Рассмотрим задачу обучения и управления робототехникой. Автоматизированное 
устройство содержит видеокамеру, с помощью которой фиксируется положение руки 
пользователя. Алгоритм должен позволять роботу идентифицировать жест во входном 
изображении как одну из определенных команд. Каждая идентифицированная команда 
будет использоваться для управления роботом, выполнения тех или иных задач. Жестам 
могут быть присвоены различные значения в зависимости от функций робота. При задании 
команд также можно использовать информацию о количестве пальцев. Например, один 
палец может означать — «движение вперед», два — «назад», три — «направо», четыре — «на- 
лево», пять — «стоп». 

Рекомендуется использование набора жестов из алфавита глухонемых, что позво- 
лит сделать работу с робототехникой, возможной для людей, не имеющих возможности 
пользоваться традиционными средствами интерфейса. 

2 Преобразование исходного изображения 

Для уменьшения размерности пространства наблюдаемых векторов без существен- 
ной потери информации применяется анализ главных компонент (АГК). Входные вектора 
представляют собой отцентрированные и приведённые к единому масштабу изображения 
рук. АГК состоит в линейном ортогональном преобразовании входного вектора Х размер- 
ности М в выходной вектор У размерности М, М < М. При этом компоненты вектора У 
являются некоррелированными, а общая дисперсия после преобразования остаётся неиз- 
менной. Матрица Х состоит из всех примеров изображений жестов обучающего набора. 
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Решив уравнение Л=Ф'хухФ, получаем матрицу собственных векторов Ф, где 
У — ковариационная матрица для Х, а Л - диагональная матрица собственных чисел. 
Выбрав из Ф подматрицу Фм, соответствующую М-наибольшим собственным чис- 


лам, получим, что преобразование у =Фухх, где х=х-х - нормализованный век- 


тор с нулевым математическим ожиданием, характеризует большую часть общей 
дисперсии и отражает наиболее существенные изменения Х. 
Выбор первых М главных компонент разбивает векторное пространство на глав- 


М 
ное (собственное) пространство Е = {>}, содержащее главные компоненты, и его 


с к 
ортогональное дополнение Е = {Ф‚}\/.,. 

Входное изображение, с помощью вычисленных ранее матриц, разлагается на на- 
бор линейных коэффициентов, называемых главными компонентами. Сумма главных 
компонент, умноженных на соответствующие собственные вектора, является реконст- 
рукцией изображения. 

Хотя анализ главных компонент эффективно используется для сокращения раз- 
мерности пространства, с его помощью сложно отображать характерные особенности, 
так как его базисные векторы представляют глобальные характеристики. Для решения 
этой проблемы используется метод анализа независимых компонент (АНК). 

Задачей анализа независимых компонент является разложение наблюдаемых 
случайных переменных х, описывающих движение рук, в линейную комбинацию 
независимых случайных величин к 

м 
х, = 2.0) =ани, + аи) +...+алмих. (1) 
РЕ 

Вместо сумм удобно использовать обозначения с вектор-матрицей, тогда урав- 

нение (1) можно записать в виде: 


х =Ахи, 
где А — смешанная матрица с элементами аз; х — случайный вектор, компоненты 
которого — ху,... Хи; и — случайный вектор с компонентами чу... т. 


Независимые компоненты являются неизвестными переменными. Также принято, 
что матрица смешивания неизвестна. С помощью случайного вектора х оценивается А иц. 

Исходная точка для анализа независимых компонент — самое простое предположе- 
ние, что компоненты и; являются статистически независимыми. Также необходимо 
предположить, что независимый компонент должен иметь не Гауссово распределение. 
Тогда, после оценки матрицы А можно вычислить ее инверсную матрицу, обозна- 
ченную У, и получить независимый компонент: 

и = У\/хх. 

Алгоритм вычисления независимых компонент опирается на центральную предель- 
ную теорему, утверждающую, что при определенных условиях сумма независимо рас- 
пределенных случайных величин стремится к нормальному распределению по мере 
увеличения количества слагаемых. Используя это утверждение, поиск независимых ком- 
понентов, как линейных комбинаций наблюдаемых переменных, ведется таким спосо- 
бом, чтобы получить независимые случайные величины, распределение которых макси- 
мально далеко от нормального. 

3 Сегментация изображения руки на основе ключевых характеристик 

В качестве признака, который используется для отделения руки от фона на изо- 
бражении, можно использовать цвет кожи. В данном случае для реализации сегмента- 
ции применяется пиксельная модель кожи. Модель формируется исходя из информации 
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о цветности (тон и насыщенность), полученная в результате предварительного обучения, 
которое непосредственно состоит в размещении руки пользователя в области так назы- 
ваемого обучающего квадрата. Пиксели, заключенные в эту область, используются для 
обучения модели, после чего выделенные пиксели преобразовываются из цветового про- 
странства ВСВ в пространство НЗГ, откуда затем получается информация о цветности. 
Значения цветового тона Н и насыщенности 5 для каждого выбранного пикселя 
образуют набор Хх = (х.,...,х,), где и — количество отсчетов (пикселей), х =(Н.,5,) — 
значения цветового тона и насыщенности 1-го пикселя. Для представления функции 
плотности вероятности, описывающей принадлежность пикселей к цвету кожи, выбрана 
гауссова функция плотности вероятности (ГФПВ). Значения параметров, входящих в 
ГФПВ (среднее значение х и ковариационная матрица »), вычисляются из набора 
пикселей с использованием стандартных методов. В результате вероятность того, что 
новый пиксель Х =(Н,э) соответствует по цвету кожи, может быть вычислена как 


р = ых Ме: ржет (-ЯУ (2) 
2) 2 


В конечном итоге результатом процесса сегментации будет представление руки 
в виде реперной области путем применения алгоритма объединения пикселей, удовлет- 
воряющих выражению (2). Полученные таким образом результаты являются инва- 
риантными к фону и различным условиям освещения. 

4 Механизм классификации (моделирования) 

Для каждого изображения рук вычисляются его главные компоненты, согласно 
ранее описанному алгоритму. Обычно берётся от 5 до 200 главных компонент. Процесс 
распознавания заключается в сравнении главных компонент неизвестного изображения 
с компонентами всех остальных изображений. Для этого обычно применяют какую- 
либо метрику (простейший случай — Евклидово расстояние). При этом предполагается, 
что изображения рук сгруппированы в кластеры в собственном пространстве. Из базы 
данных (или тренировочного набора) выбираются изображения-кандидаты, имеющие 
наименьшее расстояние от входного (неизвестного) изображения. 

Для классификации можно использовать метод сравнения эталонов (Тетр!ае 
Маюкй!1$), который заключается в выделении областей рук на изображении, и после- 
дующем сравнении этих областей для двух различных изображений. Каждая совпавшая 
область увеличивает меру сходства изображений. Для сравнения областей используют- 
ся простейшие алгоритмы, вроде попиксельного сравнения. Недостаток этого метода 
заключается в том, что он требует много ресурсов как для хранения участков, так и для 
их сравнения. В виду того, что используется простейший алгоритм сравнения, изобра- 
жения должны быть сняты в строго установленных условиях. 


Выводы 


В статье рассмотрены методы автоматического распознавания жестов рук и пред- 
ложен алгоритм распознавания жестов рук для реализации удобного интерфейса управ- 
ления автоматизированными системами. С учетом того, что управление происходит в 
режиме реального времени, предлагаются технологии, обеспечивающие быстродействие 
и простоту алгоритма и не требующие огромных вычислительных затрат. Основываясь 
на возможности дальнейшего применения в робототехнике, предлагается определенный 
набор жестов, который используется при обучении системы, а также формировании 
соответствующих команд. В качестве набора жестов рекомендуется использовать жесты 
из алфавита глухонемых. 
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Алгоритм можно модифицировать, если включить дополнительные этапы пред- 
обработки, такие как калибровка камер, фильтрация и.т.п. Этап сегментации достаточно 
прост и при использовании в сложных условиях работы нуждается в усовершен- 
ствовании. Надежное выполнение алгоритма распознавания жестов предполагает учет 
неоднозначной природы статических и динамических жестов, проблем выделения руки 
на изображении, условий освещения и помех. 
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Автоматичне розшзнавання жест!в в нтелектуальних системах 

У робот! розглянута концепшя використання жеств рук в 1нтелектуальних системах, зокрема для 
керування робототехн!чними пристроями. Проанал1зовано основн! процедури розшзнавання рух!в 
рук, видлен! основн! моменти на кожному з еташв розшзнавання. Запропоновано шдхд, що дозволяе 
зменшити розмрнисть простору, у якому перебувае рука, а також уникнути обмежень, пов’язаних з 
використанням спещальних маркувальних засоб\в. 


И.С. АБаКитоу, Е. Уи. Готайта 

Ашотайс Сезеиге Весост@оп ш ПиеШоепЕ Зузет5$ 

ТБе агас]е 4езстбез фе сопсерё оЁ Вап@ зезбиге аррИсаноп ш п\еШеепе зузбетз ю Фе сопёо| гоБойс 
Чеутсез 1$ сопз14еге4. Тре Баз1с ргоседиге оЁ Вап4 тойоп гесостоп \аз апайуте4 ш деай, ап фе тат 
ро ш еасВ гесовтоп ${азе \уеге етрБаз1те4. Ап арргоасВ ®ю гедисе Фе зрасе Аппепз1опаШу ш \/ись 
Бала 1$ [оса{е4 апа №0 ауо1А Фе шпйаНоп$ аззос1айе4 ИВ Ще пе оЁ зрес1а| татК1пэ$ Ваз Бееп ргорозе4. 
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